"""
scrapy是什么?
    scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。
    可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Scrapy 是一个开源的 Python 爬虫框架，用于从网站上提取数据（即进行网络爬虫），并能将这些数据进行处理和存储。
        它的设计目标是简单高效地抓取大量网页，并提供强大的工具来进行数据的提取和分析。

Scrapy 的特点
    快速开发：Scrapy 提供了许多内置功能，帮助开发者快速构建高效的爬虫程序。
    可扩展性强：它允许用户自定义中间件、管道等，满足各种爬虫需求。
    异步处理：Scrapy 使用 Twisted 异步网络库，可以同时处理大量请求，从而加快爬虫的效率。
    数据处理方便：支持将数据保存为多种格式，例如 JSON、CSV、XML 等。
Scrapy 的主要组件
    Spider（爬虫）：这是用户定义的类，用于指定如何从某个或多个网站抓取数据以及如何解析和处理这些数据。
    Selectors（选择器）：Scrapy 提供了强大的选择器工具（如 XPath、CSS 选择器），用于从 HTML 页面中提取数据。
    Item（数据容器）：类似于一个数据结构，用来定义要从网页中抓取和存储的数据。
    Pipeline（数据管道）：用于对抓取到的数据进行后续处理，如清洗、验证、存储等。
    Middleware（中间件）：在请求和响应的处理中，可以通过中间件对其进行拦截和处理，比如修改 headers、处理 cookies 等。
Scrapy 工作流程
    发送请求：Spider 定义了要抓取的网站地址。Scrapy 通过异步方式发送请求。
    接收响应：收到响应后，通过 Spider 定义的回调方法处理响应数据。
    数据提取：利用 Scrapy 提供的选择器工具提取目标数据。
    保存数据：提取到的数据会通过管道处理，进行清洗、存储或输出。
"""
